【任务队列】huey-操作

执行要求

• 安装huey
• 安装huey_consumer.py
• 确保你的redis或者sqlite存在

计算流程

• 启动consumer

huey_consumer.py main.huey   --workers=2 -v -s 10 -k   # 可配置worker数

• 执行主程序

python main.py                                         # main脚本中包含放在huey任务序列中的相关计算函数

注：

主程序和生产的huey文件名最好保持一致

• 调用相关函数

python consumer.py                                  #相当于调用已经生产好的结果和模型

相关函数

• 构建任务序列配置 任务序列的存储方式有四种，用来记录任务序列下的相关信息
  • RedisHuey
  • SqliteHUey
  • MiniHuey
  • SimpleHuey

# config.py
from huey import RedisHuey
huey_redis = RedisHuey()

from huey.contrib.sqlitedb import SqliteHuey
huey = SqliteHuey('my-app-queue.db')

from huey.contrib.minimal import MiniHuey
huey = MiniHuey()
huey.start()

from huey.contrib.simple_storage import SimpleHuey
huey = SimpleHuey()

• 将相关函数放到任务序列中

  构建任务序列配置的文件最好和相关文件放在一个路径下，否则需要添加调用调用路径执行

# task.py
from config import huey       # 调用了配置文件

@huey_task()
def func(a, b):
    print a+b

• 构建启动任务序列的脚本

# main.py
from config import huey
frim task import func

if __name__ == '__main__':
    a = 4
    b = 5
    print 'start calculate function:', func(a, b)

以上三个步骤均作为生产者，来设计任务序列中的函数和执行脚本

以下则为作为消费者，去获取相应的数据